2020년 컴퓨터종합학술대회
Current Result Document :
| 한글제목(Korean Title) |
지식 증류를 이용한 한국어 RoBERTa의 경량화 |
| 영문제목(English Title) |
Knowledge distillation for lightweight RoBERTa of Korean |
| 저자(Author) |
Dong-Chan Kang
Seung-Hoon Na
Yun-Su Choi
Hye-Woo Lee
Du-Seong Chang
강동찬
나승훈
최윤수
이혜우
장두성
|
| 원문수록처(Citation) |
VOL 47 NO. 01 PP. 0350 ~ 0352 (2020. 07) |
한글내용
(Korean Abstract) |
최근 자연어처리 연구는 대용량 말뭉치로부터 사전학습 된 언어모델을 바탕으로 다양한 자연어처리 태스크에서 파인튜닝 하는 것이 특징이다. 이와 같은 언어모델들은 여러 태스크에서 좋은 성능을 보이고 있지만, 요구되는 메모리와 계산 비용이 커서 많은 경량화 연구들이 시도되고 있다. 본 논문에서는 BERT의 경량화 방법으로 DistilBERT와 TinyBERT를 한국어 RoBERTa에 적용한 후, 기존의 BERT와 각 태스크에서 성능을 비교한다. 또한 증류를 예측 레이어 증류, 트랜스포머 증류로 나누어 적용하여 각 태스크에서 성능을 평가하였다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
